今天終於要來介紹 ML Project Lifecycle 的五個步驟了！讓我們來複習一下，根據 Andrew Ng，一個完整的機器學習專案分為五個主要步驟：

1. 定義商業指標（Define the business goal）
2. 蒐集和準備資料（Collect and Prepare Data）
3. 建立模型（Build the Model）
4. 將模型整合到應用程式中（Integrate with Application）
5. 監控模型表現（Monitor Impact）

我們今天來聊聊第一個步驟吧！

Step 1. 定義商業指標（Define the business goal）

這一步是在學生時期最容易忽略的，因為課堂專案的題目通常非常明確，然而在實務上，解決一個問題往往會有許多解法。舉例而言，若想要提升用戶的轉換率（conversion rate），可以從多個角度下手：例如優化產品的搜尋演算法、改進推薦系統，提升用戶體驗，甚至是像 Matching Cutting 的問題一樣，製作更吸引人的預告片。

Andrew Ng 建議在進行專案的初期可以多想一些不同解法，再評估哪一個是現階段最適合的，而非在一開始就直接投入某一個解法。

如何評估專案的可行性？

而要如何評估專案的可行性？依照是否為全新專案，以及資料的型態而有不同的評估方式。

全新專案

• 非結構化資料（unstructured data）：以人類是否能夠分別和判讀為基準
• 結構化資料（structured data）：評估是否能夠搜集到有預測性的特徵

現有專案

• 以舊有專案的表現為基準
• 若是結構化資料（structured data），也可以評估現在是否能夠蒐集到其他新的特徵

衡量指標（Metrics）

衡量一個 ML 專案的成功，往往需要從多個角度來考量，而不同部門關注的指標可能有所不同，要找到彼此共同在意的中間值。這些指標大致可分為三類：

• 機器學習專案的指標：精確率（precision）、召回率（recall）、F1-score 等，利用這些指標衡量模型的表現。
• 軟體工程的指標：例如系統延遲（latency）、可擴展性（scalability）、系統穩定性等，這些是從工程角度衡量軟體服務表現的指標。
• 商業指標：如轉換率（conversion rate）、用戶黏著度（retention rate）、平均每用戶收益（ARPU），這些是商業目標相關的指標。

以 Netflix 的 match cutting 為例

讓我們以 Day 3 介紹的 Netflix 的 match cutting 為例，說明不同部門會如何以不同的指標評估這個技術是否成功。雖然身為資料科學家的我們可能比較關注模型的技術表現和預測能力，但是以公司的角度，還是需要考量其他部門關注的指標，以衡量這個專案的成敗。

商業部門

• 關注重點：最終的業務結果和成本效益，以及此技術方案對用戶體驗和商業目標的直接影響。
• 用戶黏著度（Retention Rate）：Match Cutting 是否提升了預告片對用戶的吸引力，進而增加影片播放和觀看時長？更好的預告片是否增加了用戶繼續使用平台的意願？
• 轉換率（Conversion Rate）：預告片是否幫助將潛在觀眾轉化為實際的觀看者？這個技術是否促使更多瀏覽首頁的用戶點擊觀看影片？
• 用戶參與度（User Engagement）：引入 Match Cutting 後，用戶的互動行為是否有所提升，例如更多的預告片觀看次數、點擊影片的行為？
• 觀眾反應：透過用戶測試或反饋，判斷觀眾對於使用 Match Cutting 的預告片評價是否比傳統方法剪輯的預告片更好？
• 功能使用率：這項技術是否有被內部成員頻繁使用？預告片中使用 Match Cutting 技術的比例是否提高？
• 成本：這項技術是否有效地減少了人工參與的時間和資源，從而降低預告片製作的總成本？

工程部門

• 關注重點：系統性能、效率和可維護性，評估此方案是否能夠穩定運作。
• 系統延遲（Latency）：模型運行的速度是否足夠快，是否能夠在合理的時間內產生匹配的畫面？
• 可擴展性（Scalability）：機器學習系統能否隨著更多數據或更複雜的預告片需求進行擴展？
• 穩定性（System Reliability）：系統是否在不同情境下保持穩定，並且不會因為大量的數據處理需求導致崩潰或運行效率下降？

資料科學部門

• 關注重點：模型的準確性，主要評估模型的技術表現和預測能力。
• 匹配準確性（Match Accuracy）、精確率與召回率（Precision & Recall）：模型是否能夠正確地找出匹配的畫面？視覺和動作的匹配程度是否符合預期？模型是否能夠找到所有相關的匹配鏡頭？它是否會產生太多不相關的匹配結果？

根據上面的例子，我們可以明確看到不同部門的關注重點不同，除了模型本身的成效以外，其他部門關注更多其他重點，如果只一味地想要提升模型表現，但是假設耗費過多運算時間，或是其實用戶並不喜歡這種模型產出的預告片效果，那都是公司所不樂見的。因此，在業界擔任資料科學家時，不僅要關心機器學習專案本身，也要了解這個模型會被運用在哪裡、用戶是誰、想要解決什麼問題，才能夠更加貼合其他部門的需求，一起打造出一個成功的產品！

那今天的內容就到這邊，歡迎明天同一時間回來，一起來認識 ML 專案生命週期的第二步驟吧！

謝謝讀到最後的你，如果喜歡這系列，別忘了按下喜歡和訂閱，才不會錯過最新更新。
如果有任何問題想跟我聊聊，或是想看我分享的其他內容，也歡迎到我的 Instagram（@data.scientist.min） 逛逛！
我們明天見！